平成＝年度 研究報告 大分県産業科学技術センター
首の動作を利用したユーザインタフェースに関する研究
阿南正明 機械電子部
S紬dyonM
ant M
ac 鮎neI nt er 払eeもas edonH
um
an−s N
eekM
ovem
ent
H
as aaki AN
AN
Mechani cs ＆El ect r oni cs Di vi s i on 要旨
一昨年から本年度までに，1）運動視差に基づく立体図形の表示 2）うなずき検出 3）首動作による文章入力装置 （ワープロ）の3点を試作し．コンピュータ画面の表示がユーザの首の動作に連動して変化するようなユーザインタフェー スの試作を行った．特にうなずき検出に関して，必要なパラメータ（速度の聞イ嵐 フラグのディケイ）を求め，Yes （うな ずく動作）でもNo（首を横に振る動作）でもない，貧乏ゆすりや自然な首の運動などを除去する方法について検討した．
1．はじめに
コンピュータを使用している際，画面上に「終了します か？（y／n）」などのような質問文（メッセージボックス）が 表示される事がよくある．通常コンピュータのユーザは キーボード，もしくはマウスから，YまたはNの回答を 入力する．もし画面をながめているままの状態で，軽くう なずくだけで回答が入力できれば，話は速い．また両手の 不自由なユーザに対しても．このような方法で，コン ピュータとのインタフェースを提供することが出来る．
首の動作を積極的にコンピュータへの入力方法に取り入 れていくことには，下記のようなメリットがある．
1）首だけの動作認識であれば，ゼスチュア認識などに
比べてシステムの実現がしやすい．
ウ1／l ＼丹J 璃よぅ爪お、久｛ヽドか1一「い7● いスノートパ、ノ「、ノ 】 ノ 」 ■ ．二王二／V ／ ／ 〉ノしLノ ノ′ 〉 ） ヽ′ ノ ノ， 、， q′ ／
などが出回りつつある（タイムリーである）． 3）上述のように，両手の不自由なユーザでも，コンピ
ュータヘの回答の入力が可能になる．
1．1試作機のデモについて
要旨に述べた3点のうち．「うなずき検出」の装置につ いては，昨年度の当センターの公開行事（センターフェア 999）において今回試作したうなずき検出装置をクイズ形式 でデモを行った．
対象は4∼15才程度の子供が多く，合計60程度に対
してデモを行った．まず，回答者にはPSD発光素子を取 り付けたヘッドフォンをしてもらい．最初に練習画面で， うなずいたら「Ye s 」のマークが，首を様に振れば「N o」のマークが出るよう，練習してもらう．画面内には
「練習モードの終r 」とかかれた領域があり，やはり首を 動かして．その領域内にカーソルを持っていくとクイズが
始まる．
画面にある簡単な文章（例えば「ドラエもんはネズミが 苦手である．」）と簡単なマンガを表示し，正しければう
なずいてもらい．間違っていれば首を横に振ってもらった． 来場者の首動作が，クイズとして正解であれば「あた り」のマーク，間違っていれば．「はずれ」のマークを表 示し，同時に「次に行きますか．」という一文を表示して，
ここでもう一回うなずいてもらう．
余談であるが，全問正解（5問）者には．景品を用意し た。又あたり，はずれのマークを表示する際 正しい解答 をカツコ書きで説明した．
健常者の利用例に限った場合．うなずき検出の導入に よって，コンピュータによる作業の効率が飛躍的に向上す るとか，何か仝達で出蕩かか「十重が出吏ス上う乙、Yぉろゎ
けでは決してない．
しかしながら，そこには，コンピュータを楽しく使うと
いう要素があり．来場者のアンケートなどを見ても，今回 のデモで，実際に使用してもらったユーザの「受け」はか なり良かった．
1．2 心理面の効果について
もちろん個人差もあると思われるが，基本的に何か簡単 な回答をコンピュータに入力する際に，マウスやキーボー
ドに手をのばすのは，意外にめんどうくさい。コンピュー タに向かってうなずいたり．首を横に振るはうがはるかに 速く．楽である．
よく似た例で．音声認識の利用という方法があるが． 「コンピュータに話しかける」という行為は意外に不自然 であり，又状況によっては人目が気になる．何を入力して いるのか絶え間なく第三者に発表している状態で入力しな
平成11年度 研究報告 大分県産業科学技術センタ岬
くてはならないというのも解せない．（その方がいいとい うケースもあり，又これには心理的な側面や．ユーザの性 格などによる個人差があると思われる．）
なお．今回の首動作検出に関する研究は，例えばウイン ドウズ上の任意のソフトを首動作だけで動かすというよう なものではなく，首動作を活かした専用のソフトウェアを ひとつひとつ作る．という考え方である．前者の可能性に ついては，今後の課題とする．
2．首動作を利用したソフトウェアの試作 一昨年から本年度までに1）運動視差に基づく立体図形 の表示 2）Yes ／No検出 3）首動作による文章入力装置
（ワープロ）の3点を試作した．各々の装置の概略は以下 のようなものである．
Tabl el 試作装置の概要
2．1ハードウェアについて
Fi g．1システム概要
今回の試作では，すべてFi g．1に示すハードウェアを使 用した．ユーザの頭部位置をPSD位置検出装置（将来は ステレオカメラを予定）で検出し．コンピュータ本体にそ の情報を送る，PSDの発光体はヘッドフォンに取り付け， ユーザに装着してもらう．コンピュータは受け取った頭部 位置の情報に基づき，首の位置 動作を目的に応じて検出
し，ソフトウェアから利用する，
（PSDこPos i t i Dn Sens i ng Devi ceの賂）
2．2 運動視差に基づく3次元図面の表示
この装置は，ユーザの首動作から生じる運動視差を，す でに画面上に表示されている3次元図形に反映させる．
（詳細は，昨年と一昨年の研究報告書を参凰） これにより．ユーザは，本来2次元にまで落とされてい るはずのワイヤーフレーム軌二運動視差分を付加した図形
を見ることになり，結果的に画面上の図形の側面や穴をの ぞき込むことが、出来るようになる．
消去法的に言えば，バーチャルリアリティーから、両眼
視差の効果を除き，卓上化したものであるな
のぞき込み移動量（以下の式でd斤）を明確にするため， 3次元のベクトルを使ってのぞき込み表示のための透視投 影の式を求めた．2）
名 称 概 要 対象
（利用目的）
運動視差に基づく 首を動かすことに 03次元CAD 3次元図面表示装 より，運動視差の変 03次元シミュレーション
置 更分を画面に表示さ れた3次元図形に反 映させ，現実物体と 同じように，のぞき 込む効果を付加す
る．
Yes ／甑検出器 うなずく，首を縦 ○アンケート に振るなどの動作を
検出し，画面上の質 間に対するユーザの 回答を入力する、
首動作に基づく 画面上の文字テー ○ 障害者のための 簡易ワープロ ブルから，首動作に
より文字を選ぶ事に より，辛が不自由で あっても文章を入力 することができる．
（現状は平仮名のみ
を入力できる，）
（のぞき込み表示）
Sl ＝dFx十（F／t l ）（Px s i n8肌Py cos 8−dFx） S2＝dFy−（F／t l ）（Px cos 8cos ￠
＋Py s i n8cos d）−Pz s i n￠† dFy）
ここで．
t l ＝（Px cos 8s i n￠すPy s i nO
s i nd）
＋Pz cos ￠）
平成11年度 研究報告 大分県産業科学技術センター
＜うなずき検出（注意点）＞ ただし，パラメータとしては，下記の変数を用いた．
斤三
g
β
U
d
物体上の任意の点 目の位置 視線の水平角度 視線の垂直角度
＝（x，y，Z） ＝（Ex，Ey．Ez ）
① うなずくのと，首を横に振るのとでは， 速度．距離が，微妙に異なる
（一般にうなずく動作のほうが．短く．速い） ② 首を横に振る回数は，決まっていない．
（回数は．判定条件としては，不可．） ③ そうでない動作（貧乏ゆすり等）の除去
冒と画面との距離 ：F
冒から画面原点までの垂直なべクトル ：斤 ユーザの初期状態における仮想視点と
仮想スクリーンとの垂直距離 ：Fo 画面に対する視点のずれ
（画面上の座標で）
：d斤＝（dFx，dFy，0）
2次元画面上の描画点（求める値） ：（sl ，S2） なお簡単のため， P＝ガーガとかく．
2．4 首動作に基づく文章入力装置について 本装置は．下記のような手順でひらがなの文章を入力 する．234234
＜首動作ワープロの使用法＞
1）PSD発光素子を付加したヘッドフォンを装着． 2）練習モード
うなずいたら，Ye s
首を頓に振ったら．Noのマークが出るよう 練習する，
3）練習モードの終了
「練習モード終了」と書かれた領域へ 首を移動．
4）50音表から文字を選ぶ．
画面上の50音表から，苗を動かすことにより， カーソルを動かし，入力したい文字の位置で
0．5秒以上静止する．例えば「あ」という平仮
名を入力したいのであれば，「あ」という文字 の上で．0．5秒以上カーソルを静止させる． 5）確認
「あ？」と聞いてくる． 正しければ，うなずく． 違っていたら．首を様に振る． 6）上記の4）、5）を繰り返す．
7）終ア時には，「× 」マークの上に0．5秒以上
カーソルをとどめる．入力した文章は。 † −t mp．t xt −’ にセーブされる．
（2）
PSDの検出した頭部位置（F．dFx．dFy）を（1）式に代入 し，（s l ，S2）を画面上で線分で結んでいく事により．運動 視差を含めたワイヤーフレーム画像の表示を行う事が出来
る．表示は絶え間なく更新し，首動作に合わせて連続的に 画像を変更する．
2．3 Ye s ・No検出について
PSDの出力した首の位置に関する情報から．最終的に 下記のようなアルゴリズムを用いて．うなずき検出を行っ た．
＜首動作の判定について ＞
首動作の方向（L，R，T，B）と速さを算出し， 1）速さが．ある条件範囲内なら，
フラグを立てる 2）フラグは，” 余韻を持たせで’ 消去 3）T（上向き）とB（下向き）のフラグが
同時に立てば， 〔Ye s 」
4）L（左向き）とR（右向き）のフラグが 同時にたてば， 「No」 5）判定直後のデータは，少しの間一 捨てる ＜ある条件範遇とは＞
ある範園の速さをもつものがヶ ある時限
連続する × 短かすぎ（例：びんぼう揺すり，
震え）
× 長すぎ （例∵太かぶりな動作）
以上に示したように，首動作ワープロは、内部でうな ずき検出を利用する
「速さ範囲」￣時間範囲」は† あとから，調整 （＊） 構と経では，範題のしきい胎は異なる
3。実験方法
今回は下記の3種類の，首動作を利用した装置の試作 笠十−∴二2．首動作を利用したソフトウェアの試作て 述べたような各種アルゴリズムを用い作成した このアルゴリズムに関する注意点は，
平成＝年度 研究報告 大分県産業科学技術センタ鰍
1）運動視差に基づく立体図形の表示 2）Yes ／No検出
3）首動作による文章入力装置（ワープロ）
4．結果と考蕪 4．1結果
運動視差に基づく3次元図形の表示に関して詳しくは， 昨年，1昨年の研究報告書を参照されたい．簡単な3次 元図形に対し．運動視差を付加した表示を行うことが出
来た．
うなずき検出に関しては，1．1で述べたような公開行 事でデモを行い，約60人の被験者のほぼ全員に対してヶ 満足なYes ／Noの検出を行う事が出来た．1名，髪型等 の影響により，どうしてもうまく検出が出来ず会場であ やまって引き取ってもらった．
出口のアンケートで49名が最も印象的なブースとして このデモを上げてくれた．
首動作ワープロに関しては．上述のように．現在ひら がなのみの短い文章が入力でき，ディスクにセーブでき
る．
4．2 うなずき検出の方向について
うなずき検出では，Yes と Noの速度は異なり，また 同じYes 内でも，上向きと下向きの速度は異なる。（一 般にYes の動きは．No より速い．又，Yes の中では下 向きが速く．首を持ち上げる動作は若干遅い．この点を 考慮しない初期の試作は失敗し，首動作を検出すること が出来なかった．
4．3 うなずき検出のパラメータについて
うなずき検出のアルゴリズムの中のパラメータは以下
の12種類である．
” ある速さの動作が，ある一定時間連続する’ 9 なら， フラグを立てるものとして．
L方向二ある速さの値．ある一定時間の値．ディケイ R方向二ある速さの値，ある一定時間の値，ディケイ U方向：ある速さの低 ある一定時間の低 ディケイ B方向：ある速さの低 ある一定時間の低 ディケイ ディケイは，フラグを消すための待ち時間を意味する． 又厳密には，速さと時間は上限，下限の間の範囲であり， それぞれの2つの値を持つ．
また上述のように，これらのフラグについて L，Rのフラグが同時に立てば．No U．Bのフラグが動じに立てば．Ye s と判断した．
この12種類のパラメータは，4．2に述べたように，方 向によって，全部違う値であり，12種類すべてを細かく 設定することにより，Yes ／No がうまく検出できる値の 組み合わせを求めた．ただし，そのしきい値を捜す作業
はそれほど簡単ではなく，実際の値はCPU
スピードな
どに依存するため− 値としては今回紹介していない． しきい値を捜すためのアルゴリズムを自動化できれば， CPUやセンサの特性，センサのノイズ等に依存しない システムを組む事が出来る．現状では，CPUやセンサ が変わる度に．しきい値を手作業で修正する必要がある．
4．4 髪型等の影響について
今回はセンサとしてPSDを使用したため，前髪が浮
き上がっているような髪型の使用者に対して，PSD発
光素子が髪の中に埋没し，うまく判定できないケースが あった．
そのほか，PSDの検出範囲はある程度限られ，ディ スプレイそのものも死角をつくるため，来場者の身長に よって椅子の高さを変えるなどの必要があった．
これらの点についても，今後の検討が必要である．
5．まとめ
昨年度までに試作した，運動視差による画像の変化を 付加する表示装置の発展形として，首動作を利用したさ
らに2つの装置を試作した，福祉利用なども含め，首動 作を利用したインタフェースについて．さらに検討して いきたい．
参考文献
1）増田千尋：’ ● 3次元ディスプレイ’ q．産業図書（1990） 2）平成9年度年次毎告書：いのぞき込み可能な3次元形状表示
装置の試作’ ，大分県産業科学技術センター（1998）
3）平成i O年度年次報告書：” のぞき込み可能な3次元形状 表示装置と奥行き感の強調についてい．
大分県産業科学技術センター（柑99）
